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Рассмотрена задача оптимизации распределения заданий по исполнителям в кластере. Разработаны алго- 
ритмы, осуществляющие управление задачами. Проверка предложенных алгоритмов выполнена при реше- 
нии транспортной задачи на кластере локальной сети. Получены данные, позволяющие судить об эффектив- 
ности предложенных алгоритмов. 
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Введение. В последние годы активно ведутся работы, связанные с использованием технологии 
параллельной обработки, которая позволяет значительно повысить скорость выполнения работы. 
Поскольку суперкомпьютеры остаются достаточно дорогими, то только большие компании спо- 
собны обладать такими вычислительными возможностями [1]. Решением проблемы является кла- 
стеризация законченных процессорных единиц воедино. Таким образом, существует возможность 
создать систему, вычислительная мощность которой будет сравнима с суперкомпьютером, а стои- 
мость значительно меньше. 
Постановка задачи. При параллельных вычислениях в кластерном пакете МРИ/МРТСН [2] есть 
одна проблема, а именно, отсутствие организации управления заданиями. Была поставлена зада- 
ча разработать расширение для пакета МР1СН, позволяющее управлять заданиями в кластере ло- 
кальной сети. Для этого были разработаны и реализованы алгоритмы управления заданиями. 
Предложенные алгоритмы проверены на выбранном классе транспортных задач. Для этого разра- 
ботан параллельный алгоритм нахождения опорного плана транспортной задачи на основе мето- 
да Фогеля (штраф) [3]. 
Модель транспортной задачи. Транспортная задача является специальным типом задач ли- 
нейного программирования. Постановка этой задачи следующая. Имеется т поставщиков и п по- 
требителей некоторой продукции. Заданы тарифы (стоимость) перевозок единицы продукции от 
поставщиков к потребителям, известны объемы запасов у поставщиков и потребности каждого 
потребителя в продукции [4]. 

Требуется составить план поставок продукции от поставщиков к потребителям так, чтобы 
суммарная стоимость перевозок была минимальной. 

Математическая постановка этой задачи имеет вид: 
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у Работа выполнена при поддержке Российского фонда фундаментальных исследований (грант № 10-01-00481-а, 
г/б №1.21.11). 
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Здесь Х, - объем; с, - тариф поставки продукции от Г-го поставщика к /-му потребителю; 
Ь, — потребности потребителей в продукции; а, — запасы продукции у поставщиков. 


Модель (1) является задачей линейного программирования со специальной матрицей. 
В этой задаче имеется тхи неизвестных Х,, и (т+и) уравнений. 

Решение транспортной задачи называется оптимальным планом перевозок (поставок) 
продукции. 

Алгоритмы управления очередями заданий. 

Алгоритм распределения ресурсов между процессами. Задание представляет собой 
абстрактную сущность, состоящую из набора команд и параметров. Оно представляется пользо- 
вателю в виде скрипта, содержащего требования к ресурсам, атрибутов задания и набора команд, 
которые необходимо выполнить. Единожды создав скрипт задания, им можно пользоваться столь- 
ко раз, сколько необходимо, также возможна его модификация. Задание сначала необходимо по- 
ставить в очередь планировщика, затем из этой очереди оно будет передано на один из узлов для 
выполнения. 

Задание может быть обычным (гед\щаг) и интерактивным (п\егасН\е). Обычное задание 
ставится в очередь и затем ожидает своего выполнения, результат будет записан в указанное 
пользователем место. Интерактивное задание отличается тем, что потоки ввода и вывода пере- 
направляются соответственно на экран и клавиатуру. Команды задания вводятся непосредствен- 
но с клавиатуры. 

В каждом задании для запуска запрашивается множество разных ресурсов, таких, как 
процессоры, память, время (обычное и процессорное). Может понадобиться дисковое пространст- 
во. С помощью менеджера ресурсов можно установить лимит каждого ресурса. Если лимит не ус- 
танавливается для какого-либо ресурса, то он считается равным бесконечности. 

Алгоритм состоит из следующих процедур. 

1. Определяются типы ресурсов, используемых данным заданием, их количество, а также 
приоритет задачи. 

2. Задания распределяются по очередям (подгруппам) и упорядочиваются в порядке при- 
оритета. 

3. Службе управления очередью отсылается задание в исполняемый скрипт. Привязка к 
существующему резервированию осуществляется по АСЕ, т. е. резервирование ресурсов к этому 
моменту должно быть уже выполнено. Ресурсы могут быть следующих видов: количество процес- 
соров, объем памяти, требуемое программное обеспечение, объем виртуальной памяти, количест- 
во времени и др. 

Алгоритм управления запуском заданий для кластерных систем. Планировщик 
работает итерационно, т.е. перемежая процесс планирования с ожиданием или выполнением 
внешних команд [5]. Каждый цикл начинается при осуществлении одного из следующих событий: 

— меняется состояние задания или ресурса; 

— достигнута граница резервирования; 

— получена внешняя команда; 

— с начала предыдущего цикла прошло время, определенное как максимальное. 

После того как сделано некоторое, конфигурируемое количество резервирований, начи- 
нает работу алгоритм обратного заполнения (Баскй!) [6]. Он выясняет, какие узлы и на какое 
время, начиная с текущего, свободны. После этого свободные узлы объединяются в окна. Сум- 
марная «ширина» окон может оказаться больше количества свободных в данный момент узлов, 
так как некоторые узлы могут входить в несколько окон. Затем из всех окон выбирается одно, как 
правило, самое широкое. Среди всех оставшихся заданий выбирается наиболее точно удовлетво- 
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ряющее этому «окну» задание и запускается. Если есть возможность, то запускается не одно за- 
дание. Так как при запуске заданий алгоритмом БаскЯ! учитываются сделанные ранее резервиро- 
вания, то соответствующие им задания не будут задержаны. 

Рассмотрим теперь один цикл работы разработаного алгоритма. Он состоит из следующих 
шагов. 

1. Получая сведения от системы пакетной обработки заданий (СПО) о машинах, старто- 
вавших/закончившихся заданиях, конфигурации системы, планировщик обновляет свою внутрен- 
нюю информацию о состоянии ресурсов. 

2. Корректируются сделанные резервирования исходя из обновленной информации о за- 
нятости узлов. Конкретнее — отменяются ранние резервирования, соответствующие уже завер- 
шившимся заданиям. На этой же фазе запускаются те ожидающие задания, время действия для 
которых уже наступило. 

3. Далее, из всего количества заданий, стоящих в очереди СПО, отбираются те, которые 
готовы к запуску в настоящий момент. При этом принимаются во внимание такие аспекты, как 
состояние задания (задержано оно или нет), достаточно ли ресурсов всего кластера для запуска 
этого задания и т. п. После этого, из получившегося списка, отсеиваются задания в соответствии 
с политикой кластера. 

4. Получившееся множество заданий упорядочивается в соответствии с приоритетами, 
которые назначаются исходя из ряда условий. В частности, принимаются во внимание запраши- 
ваемые ресурсы, принадлежность задания тому или иному пользователю, историческая информа- 
ция (кто, сколько заданий запустил, чтобы избежать ситуации, когда кластер «оккупирован» 
кем-то и недоступен для всех остальных). 

5. В соответствии с полученным упорядоченным списком производится планирование. За- 
дания рассматриваются, начиная с самого приоритетного. Последовательно получая задания из 
списка, планировщик запускает их до тех пор, пока это возможно. 

Параллельный алгоритм нахождения опорного плана транспортной задачи на основе 
метода Фогеля (штраф). Пусть и — вектор потребностей потребителей, у — вектор мощностей 
поставщиков, 2 — матрица стоимости перевозок, х — матрица решения (поставок). 

Основные шаги алгоритма следующие. 

1. Для каждой строки и столбца матрицы стоимости перевозок считаем разницу между 
наименьшим значением стоимости и ближайшим к нему (так называемый штраф). Поиск штрафа 
по каждой строке и столбцу оформляется в виде отдельной задачи и назначается свободным про- 
цессам, т.е. распараллеливается. 

2. Во всех строках и столбцах с наибольшим штрафом находим ячейки с наименьшим ми- 
нимальным значением стоимости (не зачеркнутые ранее). Выполнение этого шага также распре- 
деляется между свободными процессами. 

3. Максимизируем поставку в ячейку х [1, /|, выбрав минимальное значение из потребно- 
сти потребителя и [ и мощности поставщика у [7|. 

4. Если мощность поставщика полностью реализована или потребность потребителя пол- 
ностью удовлетворена, вычеркиваем соответствующую строку или столбец. 

5. Если не все потребности/мощности задействованы, повторяем алгоритм. Параллельная 
модификация алгоритма использует тот факт, что подсчет штрафов и поиск минимального эле- 
мента в пунктах 1, 2 соответственно поддаются параллелизации за счет разделения задач по по- 
иску в разных строках и столбцах между несколькими потоками выполнения. Блок-схема парал- 
лельного алгоритма нахождения опорного плана решения транспортной задачи представлена на 
рис.1. 


717 


Технические науки 















Начало 
Задаем начальные условия 


Распределяем матрицу тарифов 


от 1 до количе- 
ства строк на 
данной машине 













от 1 до количе- 
ства строк на 
данной машине 


выбираем тих, и пех1- выбираем тих, и пех1- 


штх, 
4.=пехиптх,-пттлх, 


от /=1 до количе- 
ства столбцов на 
данной машине 


их, 





4.=пехиптх,-птлх,; 


от /=1 до количе- 
ства столбцов на 
данной машине 






















выбираем пих,; выбираем тих, и пех1- 


и пехтх, штх, 


4.=пехиптх,-пттлх, 4.=пехиптх,-пшх,; 


Находим наибольший 4 для Находим наибольший 4 для 
данной машины данной машины 























Находим 
наибольшее 4 


Помечаем в клетке максимально 
возможное количество ресурсов 





Вычеркиваем строку (столбец) 





Параллельный метод 
наименьшей стоимости 





нет да 







Осталась одна 
строка (столбец)? 





для остатков 





Рис.1. Блок-схема параллельного алгоритма нахождения опорного плана методом Фогеля 
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Экспериментальная проверка эффективности предложенных алгоритмов управления 
очередями заданий в кластерных системах. Практическая значимость работы заключается в 
том, что алгоритмы управления заданиями были применены для расширения библиотеки 
МРИ/МР!СН (по свободным лицензиям), т.е. в создании программной модели кластера, который 
содержит реализации предложенных алгоритмов. С использованием новой библиотеки 
МРИ/МР!СН_МЕМ/ была проверена эффективность параллельной программы нахождения опорного 
плана транспортной задачи на основе метода Фогеля (штраф) для кластера локальной сети. 

Разработанный параллельный алгоритм проверялся путем реализации его на кластере 
следующей конфигурации: 

— 4 вычислительных узла (Тп РепНит 4 2,4 ГГц); 

— управляющий узел (Те! РепНит 4 2,4 ГГц). 

Узлы объединены между собой сетью Тпйпфапа (пропускная способность 4 Гбит/с). 

Описанная программа реализована в среде С++. Обозначим время выполнения парал- 


лельного алгоритма на кластерном пакете МРИМРТСН -— АЕ а время выполнения парал- 


лельного алгоритма на улучшенном пакете МРИМРТСН_МЕМ/ — Г МРИМЫСН _ МЕй + ПРоизводитель- 


ность (ускорение) определялась по формуле: 
Т 


У = МР! / МРСН 


Т, 


МР /МРСН _ МЕ” 


Структурная схема пакета МРЛ/МРТСН_МЕ\\/ приведена на рис.2. 
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Назначение задач 


Запуск процессов 
\оде!.ехе #п-1 


Рис.2. Структурная схема пакета МРИ/МРТСН_МЕ\/ 


Библиотека МРТ/МРТСН_МЕ\\! содержит функции для управления заданиями задач и вы- 
числяет назначение задач процессам. Она служит для запуска процессов на машинах кластера, 
для коммуникации между процессами, а также для вычислений в разделяемой памяти. Утилита 
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Мргип.ехе входит в реализацию МРИ/МРСН и служит для запуска процессов, Моде!.ехе — парал- 
лельные программы. 

Испытание предложенных алгоритмов управления очередями заданий на 
транспортной задаче. Для оценки практической значимости разработанных алгоритмов прове- 
дено испытание и сравнительная характеристика библиотеки МРТ/МРТСН и нового улучшенного 
пакета МРИ/МРТСН_МЕ\М/, который содержит разработанные алгоритмы управления заданиями. 
Испытания проводили в три этапа. На первом этапе при размерности задачи 50х50, 70х70 и чис- 
ле процессов 20 изменение производительности не происходило. На втором этапе при размерно- 
сти задачи 100х100, 150х150, 500х500 и числе процессов 20 увеличение производительности 
стало более заметным (в 1,07 раз быстрее при расчете матрицы размера 500х500). На третьем 
этапе при увеличении числа процессов с 20 до 40 увеличение производительности стало более 
заметным (в 1,13 раз быстрее при расчете матрицы размера 1000х1000). Результаты вычисли- 
тельных экспериментов, исследования предложенных алгоритмов управления заданиями, исполь- 
зованных в кластерном пакете МРТ/МРТСН_МЕ\\, и сравнение их с пакетом МРТ/МРТСН приведены 
в таблице и на рис.З3. 


Сравнительная характеристика времени нахождения опорного плана параллельным алгоритмом 
на МРИ/МРТСН и МРИ/МР/СН_МЕМ/ в зависимости от размерности задачи и количества процессов 





























Размерность Количество Время выполнения параллельного алгоритма Прирост 
задачи процессов нахождения опорного плана, с производительности У 
Стандартный МРИМРСН МРИ/МРТСН_МЕ\\ 
50х50 20 0,005 0,005 = 
70х70 20 0,009 0,009 - 
100х100 20 0,020 0,019 1,05 
150х150 20 0,031 0,029 1,06 
500х500 20 1,020 0,935 1,07 
500х500 40 1,005 0,920 1,09 
1000х1000 40 2,501 2,209 1,13 
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Рис.3. График времени выполнения программы в среде МРТ 
до и после применения разработанных алгоритмов 
(в скобках указано количество процессов) 
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Из графиков виден незначительный прирост производительности при запуске программы 
в среде МРИМР1СН_МЕМ/. Однако при увеличении числа процессов с 20 до 40 увеличение произ- 
водительности становится более заметным (в 1,13 раз быстрее при расчете матрицы размера 
1000х1000). 

Выводы. Испытания алгоритмов управления заданиями в транспортной задаче на кластерной 
системе МРИ/МРСН и новой модифицированной кластерной системе МРИ/МР1СН_МЕМ/ показали, 
что разработанные алгоритмы эффективно решают выбранный класс транспортных задач. 
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ЕГАВОКАТТОМ ОЕ ТАЗК СОМТВОЕ АЕСОКТТНМ$ МЛТН РАКАЧЕЕ СОМРОТТМС 
ТМ С-О$ЗТЕВ СОМРОТТМС 5УЗТЕМ$ 


А.А. АЕ-КНОГАТОТ, У.О. СНЕВМУ$НЕУ 
(Роп Зае Теспткса! Упмег®Ку) 


Тре орбтит ргоМет о! {те аосайоп о! {а$К$ Гог ехесийпд т пе сиг 15 сопз!аегеа. ТазК сопёо! адогт5 
аге еаБогайе4. Тре а/догЁйт5 уа!аайоп 15 аопе т {те ретогтапсе оЁ {те йапзропаНноп ргоМет оп ве /оса! 
пемогк сиег. Тре аа оМатей регтй Ю лиаде ейсепсу оЁ те зидде$еа а/дот те. 

Кеуигогаб5: си$еппод, азК эспеди!ЕГ, гезоигсе тападег. 
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